Cuối thời Mạc Phủ, Nhật Bản bị buộc phải mở cửa kể từ sau chuyến viếng thăm của Phó đề đốc Hải quân Hoa Kỳ là Matthew Perry năm 1853, tình hình chính trị của nước này ngày càng trở nên hỗn loạn. Đất nước bị chia thành nhiều phe phái chính trị phần lớn hoạt động tại Kyoto; trung tâm chính trị cốt yếu cả nước, nơi tập trung rất nhiều chí sĩ phái quá khích thuộc phong trào Tôn Vương nhương Di và Tôn Vương đảo Mạc đến từ các Phiên, khiến cho việc trị an ngày càng xấu dần, một trong những trường phái tư tưởng (đã tồn tại từ trước khi Perry tới) là sonnō jōi: " Tôn Vương nhương Di."[1]

Những người ban đầu đi theo tư tưởng này bắt đầu thực hiện các hành động ám sát và bạo lực ở kinh đô Kyoto. Từ trước đến giờ việc duy trì trị an ở Kyoto đều thuộc quyền của hai cơ quan chính là Shishodai (Sở Tư Đại) và Machibugyō (Đinh Phụng Hành) mà cho đến cuối thời Mạc Phủ không thể kiểm soát nổi. Hy vọng chống lại xu hướng này và để đảm bảo an ninh trật tự, Mạc Phủ cho thành lập lực lượng cảnh sát lâm thời Roshigumi (浪士組) (‘’Lang Sĩ Tổ’’) sau đổi tên thành Shinsengumi, một nhóm gồm 234 samurai vô chủ (rōnin), dưới quyền chỉ huy trên danh nghĩa của cơ quan trị an tối cao là Shugo (Thủ Hộ) do Phiên chủ Aizu Matsudaira Katamori đảm nhiệm và người đứng đầu thực sự là Kiyokawa Hachirō (chí sĩ xuất thân từ Phiên Shonai[2]). Nhiệm vụ chính của đội này là bảo vệ Tokugawa Iemochi, Shogun thứ 14, người chuẩn bị lên tàu đến thăm Kyoto.[3] Shinsengumi là một tổ chức tương tự như Mikaigumi. Tuy nhiên, Shinsengumi thực ra chỉ là lực lượng phi chính quy (cốt canh giữ Phiên Aizu) mà thành phần chính là ronin (bao gồm võ sĩ, thị dân và nông dân), trái ngược với Mikaigumi là lực lượng chính quy mà thành phần chính là gia thần Mạc Phủ.

Số thành viên ban đầu tất cả là 24 người đều xuất thân từ nhóm Miburoshigumi, thời toàn thịnh Shinsengumi có tới hơn 200 thành viên. Nhiệm vụ chính của nhóm là truy đuổi và lùng bắt các võ sĩ phiêu bạt đang hoạt động ngầm tại Kyoto, đồng thời chịu trách nhiệm tuần tra, phòng vệ kinh thành, hộ tống các quan chức cao cấp của Mạc Phủ và trấn áp phản loạn. Ngoài ra, chính quyền Mạc Phủ còn buộc giới thương nhân phải chu cấp kinh phí hoạt động cho nhóm, kế đến nhóm còn lặp đi lặp lại nhiều lần các cuộc giao chiến nội bộ thảm khốc nhằm thanh trừng những kẻ vi phạm nội quy trong đội. Kẻ thù lớn nhất của Shinsengumi là các ronin và samurai được phe bảo hoàng của gia tộc Mori ở Chōshū bảo trợ (và sau này, là những đồng minh cũ gia tộc Shimazu ở Satsuma.)

Vào tháng 6 năm Keiō thứ 3 (1867), Shinsengumi được thâu nạp làm gia thần Mạc Phủ, tới năm sau cuộc chiến tranh Mậu Thìn bắt đầu bùng nổ thì nhóm chính thức gia nhập quân đội Cựu Mạc Phủ tham chiến, thế nhưng liên tiếp thua trận, dẫn đến bất ổn nội bộ khiến cho từng thành viên lần lượt bỏ đi, cuối cùng chiến tranh chấm dứt, Shinsengumi buộc phải ra đầu hàng quân chính phủ rồi tự giải tán.

Do thuộc hai bên chiến tuyến khác nhau nên Shinsengumi trở thành phe đối địch chính yếu với phái đảo Mạc được lập nên là chính phủ Minh Trị, ngoài ra Shinsengumi còn trở thành tâm điểm xoay quanh những nghiên cứu của giới sử học trong các năm gần đây mà phần lớn đều tỏ lòng thương tiếc. Lịch sử sống động cộng vẻ hào hùng của nhóm đã để lại nhiều ảnh hưởng to lớn đến người hâm mộ hiện tại thông qua các tác phẩm văn học hư cấu, phim truyền hình, manga, anime, game, tiểu thuyết và chuyện kể kiểu kōdan có từ thời Minh Trị cùng nhiều trước tác có liên quan sẽ được đề cập sau. Chúng còn thu hút sự chú ý cao độ từ nam nữ già trẻ, rất nhiều fan đã tới viếng mộ các thành viên của Shinsengumi.